CAST: Game Solvers as Turn-Level Teachers for LLM Agents
CAST：以博弈求解器为 LLM 智能体提供回合级教学信号
🧭 基于求解器的回合级信用分配 · LLM Agent 训练
University of Science and Technology of China · Nanjing University · Wuhan University · Meituan
将求解器状态价值变化转为回合级优势信号，缓解长程游戏中的信用分配难题
📌 工作参考价值（4 点）
- 电商多步对话/搜索结果规划：可用商品检索器、报价引擎等“可求解环境”的状态价值变化作为中间奖励，训练 LLM 进行多步推荐或搜索，缓解稀疏结局信号的反馈延迟。
- 只用标量信号，无需 teacher logits：业务中部署求解器只需输出标量价值，通信与计算开销远小于蒸馏完整分布，适合大规模 Agent 在线训练。
- 探索引导：通过 solver advantage 指示哪些候选 action 更有前途，可植入 Agent 的候选排序或树搜索中，提升探索效率，减少无效调用。
- 泛化到未见场景：论文在零样本迁移到 ALFWorld/WebShop 上有效，暗示类似方法可用于训练能泛化到新品类、新用户意图的电商任务型 Agent。